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II sensore (1) comprende una schiera di elementi f otosensibili 
per 1' acquisizione di immagini di abitacolo di un autoveicolo e 
comprende un circuito (20) per 1' elaborazione dei segnali 
corrispondenti a dette immagini generati dai suddetti elementi 
f otosensibili . II circuito di elaborazione e configurato secondo 
un' architettura di trattamento a rete neurale cellulare (CNN) ed 
e suscettibile di generare un segnale di uscita selettivamente 
indicativo della decisione di attivare un air-bag (3) a cui il 
sensore e associato, ovvero di controllarne 1' esplosione . Di 
preferenza, la schiera di elementi f otosensibili ed il circuito 
di elaborazione sono compresi in un unico componente integrato, 
realizzato di preferenza in tecnologia CMOS. . 
(Figura 1) 
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DESCRIZIONE dell ' invenzione industriale dal titolo: 
"Sensore ottico intelligente per sistemi air-bag" 
di : STMicroelectronics Sri, nazionalita italiana, 
Via C. Olivetti 2 - Agrate Brianza (MI) 
Inventore designator Luigi Occhipinti 

Depositata il: 3 novembre 2000 2 0 0 0 A 001038 

* * * 

TESTO DELLA DESCRIZIONE 

La presente invenzione si riferisce ai sistemi 
air-bag di nuova concezione. 

Praticamente tutte le nuove automobili sono 
prowiste di air-bag, dispositivi di cui viene ©a^S 

On 

correntemente riconosciuta l'efficacia nel ridurre 
la mortalita da inf ortuni stradali , sia per quanto O^j 
riguarda i guidatori, sia per quanto riguarda i nO 
passeggeri . cq^ 

Si e pero rilevato che, oltre a svolgere tale 
funzione di sicurezza, i dispositivi air-bag possono 
talvolta procurare danno agli utilizzatori . 

Tipicamente, un air-bag. si espande in circa 0,06 
secondi con velocita di espansione che possono 
essere anche dell'ordine di 320 Km/h (200 mph) . 
Questa rapidita nel dispiegamento e essenziale, dal 
momento che un tipico urto in contesto 
automobilistico dura circa 0,125 secondi; gli 
occupanti del veicolo/ non prowisti di protezione 
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sono quindi suscettibili di andare ad urtare contro 
le strutture dell ' abitacolo prima che l'urto si sia 
concluso. In altre parole, tale secondo urto o 
collisione ha luogo mentre il primo urto o 
collisione e ancora in corso. 

Di solito, il dispiegamento dell 'air-bag e 
ottenuto tramite un generatore di gas, che produce 
il volume di gas richiesto tramite una rapida 
combustione di un compos to (solitamente a base di 
sodio) . Tale combustione e cosi rapida da poter 
essere di fatto assimilata ad una piccola e 
contenuta esplosione . 

II dispiegamento dell 'air-bag viene comandato di 
solito da un dispositivo elaboratore che, in 
funzione di segnali ricevuti da rispettivi sensori, 
decide se dispiegare 1' air-bag in considerazione 
della gravita dell ' incidente . Cio awiene sulla base 
di algoritmi che tengono in conto il cambiamento di 
velocita del veicolo e, nei sistemi piu recenti, 
anche altri fattori legati alle condizioni in cui si 
manifesta la rapida decelerazione del veicolo. 

I sensori utilizzati sono di solito 
accelerometri lineari il cui numero e le cui 
caratteristiche di sensibilita vengono adattate in 
funzione di fattori quali la posizione dell 'air-bag 



e la sua funzione (ad esempio air-bag frontale, air- 
bag laterale, ecc.) . 

Come gia si e detto in precedenza, ci sono perd 
situazioni in cui gli air-bag possono dare origine a 
fenomeni negativi. Mano a mano che si accumula 
l'esperienza di impiego degli air-bag, si sviluppa 
in modo corrisponde la conoscenza di tali effetti 
negativi, che in alcuni possono avere conseguenze 
anche piuttosto serie. 

Di solito, gli effetti piu negativi si 
riscontrano in relazione ai soggetti che si trovano 
ad essere molto j/icini all 'air-bag nel momento in 
cui lo stesso viene dispiegato. Questa situazione 
puo determinarsi in particolare con rif erimento a 
soggetti di piccola statura, ai bambini e, in 
generale, agli occupanti dell ' abitacolo che al 
momento del dispiegamento dell 'air-bag non 
utilizzano cinture di sicurezza owero le usano in 
modo scorretto, owero ancora si trovano ad occupare 
posizioni relativamente insolite nel momento in cui 
comincia 1 ' espansione dell ' air-bag . 

Queste situazioni possono coinvolgere, ad 
esempio, i guidatori che hanno I'abitudine di sedere 
molto vicini al volante owero bambini molto piccoli 
che vengono fatti viaggiare su seggiolini montati 
sui sedili anteriori, seppur girati all ' indietro . 



Sussiste quindi l'esigenza, manifestata anche in 
sede ufficiale (ad esempio nell'ambito di 
organizzazioni quali la NHTSA - National Highway 
Traffic Safety Administration negli Stati Uniti) di 
migliorare le caratteristiche di f unzionamento degli 
air-bag cosi da assicurare la protezione di tutti 
gli occupant i, indipendentemente dalla loro statura 
e taglia corporea, dal fatto che portino o meno 
cinture di sicurezza. Questo in particolare per 
quanto riguarda ' i rischi a cui sono esposti i 
bambini ed in particolare i bambini molto piccoli. 

In tale prospettiva sono gia in corso di 
sviluppo sistemi di air-bag di nuova generazione 
(correntemente definiti air-bag di tipo "smart") che 
utilizzano, ad esempio, un sensore di peso cosi da 
attivare 1' air-bag soltanto quando si registra sul 
corrispondente sedile la presenza di un peso minimo . 
Questa soluzione consente fra 1'altro di evitare il 
possibile dispiegamento - non necessario e quindi 
inutile - dell ' air-bag localizzato in corrispondenza 
del sedile destinato ad essere occupato dal 
passeggero seduto accanto al guidatore del veicolo 
quando questo sedile e vuoto. 

Ad . esempio, la societa CTS Corporation ha 
recentemente sviluppato alcuni sensori di peso 
basati su resistori a film spesso suscettibili di 




Ori 

DZ 



-5- 



essere impiegati nell'ambito di tall sistemi di air- 
bag. 

Esistono poi altri sistemi che, per ridurre i 
rischi a cui sono esposti gli occupanti che si 
trovano troppo vicini all 'air-bag quando lo stesso 
dovrebbe essere dispiegato, regolano la velocita di 
dispiegamento dello stesso in funzione della gravita 
dell'urto, in particolare rilevando la^ posizione 
della persona immediatamente prima di cominciare il 
dispiegamento dell 'air-bag e riducendo la forza di 
dispiegamento qualora la persona corra il rischio di 
essere danneggiata . 

Di solito questi sistemi basano il loro 
f unzionamento sull ' integrazione di informazioni 
derivate a partire da diversi sensori quali sensori 
di peso, sensori di rollover, sensori associati alle 
fibbie delle cintu:qe, sensori di urto laterale e di 
intensita dell'urto, ecc. Le caratteristiche 
dell'urto e la posizione degli occupanti determinano 
quali air-bag sono destinati ad essere attivati . 
Esistono anche sistemi piu complessi che controllano 
anche l'azione del sistema di ritegno (in termini di 
energia e di tempo) in funzione delle informazioni 
raccolte dai sensori . 

Per quanto riguarda specif icatamente . la 
rilevazione della posizione degli occupanti e 




l'abitacolo del veicolo nella letteratura 
brevettuale sono documentate soluzioni diverse. 

Ad esempio, da US-A-5 330 226 e noto un sistema 
che comprende un sensore dello spostamento per 
segnalare la distanza fra la posizione dell 'air-bag 
e la persona. A tal fine, e previsto di montare un 
sensore all ' inf rarosso nella parte alta 

dell ' abitacolo, al di sopra della persona. 

Da US-A-5 528 698 e noto un sistema con un 
sensore di immagine e un processore; il sensore e un 
sensore a matrice 1 di f otorilevatori con una lente di 
f ocalizzazione ed fc il processore e in grado di 
elaborare 1' immagine cosi ottenuta per acquisire una 
visione dell ' area occupata dal passeggero 
nell ' abitacolo . 

Da US-A-5 612 876 e noto un sistema per rilevare 
la presenza di un occupante nell ' abitacolo, in 
particolare per inibire l'esplosione dell 'air-bag 
quando non c'e 1 ' occupante : il relativo sensore 
presenta una regione frontale ed una regione 
posteriore, valutabili separatamente . 

Ancora, da WO-A-94/22693 e noto un sensore di 
posizione che usa tecnologie ad ultrasuoni, micro- 
onde o ottiche cosi da assicurare un lungo tempo di 
sensing prima che il passeggero urti 1' air-bag. 



Infine, la soluzione descritta in EP-A-0 781 689 
prevede l'impiego di un sensore di urto destinato a 
fornire un primo segnale, un sistema di ritegno 
comprendente un sensore ottico dell ' immagine 
destinato a generare un secondo segnale ed un 
control lore che fornisce un terzo segnale ad un 
sistema di attivazione . 

La presente invenzione si prefigge lo scopo di 
fornire un sensore visivo suscettibile di essere 
vantaggiosamente integrato in sistemi di air-bag di 
nuova generazione cosi da migliorarne ulteriormente 
le prestazioni. 

Secondo la presente invenzione, tale scopo viene 
raggiunto v .grazie ad un sensore avente le 
caratteristiche richiamate in modo specific© nelle 
rivendicazioni che seguono. 

In termini essenziali, nella forma di attuazione 
al momento preferita, 1' invenzione riguarda un 
micro- sensore visivo, realizzato in tecnologia CMOS, 
in cui il chip ottico e costituito da una matrice di 
fotosensori con ingressi su righe e colonne guidati 
da un controllo logico interno. 

Cid consente di realizzare un unicq sensore 
ottico, capace di acquisire ed elaborare in tempo 
reale le immagini in modp da memorizzare la figura 
nell ' abitacolo prima e/dopo l'urto. 



Nella forma di attuazione dell ' invenzione al 
momento preferita, ciascuna operazione di 
elaborazione delle immagini viene eseguita, fissati 
certi parametri, lasciando evolvere il sistema 
dinamico che caratterizza l'unita' di elaborazione 
dallo stato iniziale alio stato finale stabile e 
immagazzinando 1' immagine risultante in una memoria 
locale. 

Quando l'immagine e stata completamente 
acquisita, essa viene immagazzinata internamente 
come valore di tensione (pixel per pixel). II 
segnale che gestisce e controlla 1 ' abilitazione 
dell' air-bag e legato alle differenze di immagine 
accumulate in istanti temporali contigui, oltre che 
alia verifica delle condizioni degli occupanti 
all'interno del veicolo. 

In particolare, la soluzione secondo 

1' invenzione consente di realizzare la funzione di 
sensore e di elaborazione dei relativi segnali 
nell'ambito di un unico chip. 

La soluzione secondo 1' invenzione fa ricorso, 
per 1 ' elaborazione dei segnali, ad una rete neurale 
cellulare (CNN) come sistema di calcolo distribuito 
e parallelo, evitando quindi la digitalizzazione e 
la . conseguente elaborazione sequenziale 

dell' immagine. Cio' permette, a parita di altri 



fattori, un notevole incremento della velocita di 
elaborazione rispetto ai sensori che richiedono la 
digitalizzazione del segnale di immagine . 

II sensore secondo l'invenzione pud essere 
utilizzato in via primaria in associazione ad air- 
bag con azione frontale. 

La possibility di pervenire alia stima della 
velocita di impatto dell ' occupante , owero alia sua 
accelerazione frontale durante 1'urto, consente 
inoltre di azionare l'airbag in modo controllato. 

Un ulteriore importante vantaggio della 
soluzione secondo l'invenzione e dato dal fatto che 
la stessa consente, dopo l'urto, di risalire a 
quanto accaduto, fungendo all'atto pratico da 
registratore a "scatola nera" del veicolo. 

L'invenzione verra ora descritta a puro titolo 
di esempio non limitativo con riferimento ai disegni 
annessi, nei quali: 

- la figura 1 illustra in termini generali una 
tipica disposizione di impiego di un sensore secondo 
1 ' invenzione , 

- le figure 2 a 4 illustrano, a diversi livelli 
di approf ondimento, caratteristiche circuitali e 
strutturali del sensore secondo I'invenzione, 

le figure 5 e .6 illustrano in maggior 
dettaglio le modal ita di impiego di una rete neurale 



cellulare nell'ambito di un sensore secondo 
1 ' invenzione, e 

- le figure 7 e 8 sono due diagrammi di flusso 
che illustrano in dettaglio le modalita di 
f unzionamento di un sistema comprendente un sensore 
secondo 1 ' invenzione . 

In sostanza, la soluzione secondo 1' invenzione 
riguarda un sensore visivo 1 suscettibile di essere 
associato ad un sistema 2 destinato a controllare il 
possibile dispiegamento di un air-bag (o di un 
complesso di air-bag) 3 associato ad un sedile 
suscettibile di essere occupato da una delle persone 
P che si trovano nell ' abitacolo di un autoveicolo 
(non illustrato nel suo complesso).. 

In particolare, il sensore 1 secondo 
1' invenzione comprende una schiera di elementi 
f otosensibili (ad esempio fotodiodi o f ototransitori 
costituenti una schiera o array) destinata ad essere 
montata v nell ' abitacolo in una conf igurazione (ottica 
di f ocalizzazione, ecc.) che consente di produrre, 
nell'ambito della suddetta schiera o array, segnali 
elettrici corrispondenti ad un'immagine della parte 
dell ' abitacolo in cui si puo trovare la persona 
(guidatore o passeggero) " indicata con P nella figura 



I criteri general i che consentono di configurare 
il sensore 1 come sensore ottico suscettibile di 
produrre la suddetta immagine sono da ritenersi di 
per -se noti nella tecnica e quindi tali da non 
richiedere una descrizione part icolareggiata in 
questa sede . Questo anche perche tali criteri non 
costituiscono - di per se - elementi essenziali per 
la comprensione dell ' invenzione . 

Cio vale nella sostanza anche per quanto 
riguarda i criteri di comando dell 'air-bag 3 da 
parte del sistema di controllo 2, almeno nella 
misura in cui non verranno fornite ulteriori 
spiegazioni di dettaglio nel seguito della presente 
descrizione . 

II sensore 1 viene realizzato di preferenza con 
tecnologia CMOS cosi da- comprendere un chip ottico 
costituito da una matrice di foto-sensori con 
ingressi su righe e colonne guidati da un controllo 
logico interno. 

II sensore 1 comprende una parte "analogica" 
contenente n x m celle, ciascuna con un proprio 
sensore ottico relativo ad un rispettivo pixel. 

Sebbene sia possibile far riferimento a diversi 
schemi, la forma di attuazione della singola cella 
al momento preferita corrisponde sostanzialmente a 
quella rappresentata / nella figura 2. Qui il 
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riferimento 10 indica il foto-sensore o convertitore 
f otoelettrico - sia esso * un fotodiodo o un 
f ototransistore o un componente equivalente 
destinato a caricare un condensatore (o, in 
generale, una capacita) 11. Tutto questo facendo si 
che la quantita di carica immagazzinata sul 
condensatore 11 corrisponde all ' integrale della 
fotocorrente generata dal sensore 10 per il tempo di 
esposizione determinato agendo su uno switch 12 
comandato dal circuito di comando del sensore (non 
esplicitamente illustrato nelle figure 2 e 3 , ma di 
tipo di per se ampiamente noto) . 

Nella figura 2 il riferimento numerico 13 indica 
collettivamente due ulteriori switch, anch'essi 
comandati dal suddetto sistema di controllo, che 
consentono di rilevare il livello di carica del 
condensatore 11 per realizzare le funzioni di 
elaborazione meglio descritte nel seguito. 

In particolare, supponendo le immagini statiche 
durante l'acquisizione, la carica accumulata sul 
condensatore 11 risulta proporzionale alia 
irradianza sulla superficie del sensore ottico, data 
dal doppio integrale rispetto al tempo ed alia 
lunghezza d'onda della luce incidente. II tutto 
tenendo conto nell ' integrale della curva di risposta 
spettrale del fotodiodo. 
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In particolare, lo schema della figura 3 
illustra in maggior dettaglio la possibile 
implementazione pratica dello schema della figura 2 
con tecnologia CMOS (p-bulk) utilizzando il 
transistore bipolare verticale compreso fra il bulk 
P, la diffusione del pozzo n e la diffusione p+ . 

Lo schema della figura 3 (che si riferisce alia 
possibile implementazione del circuito in tecnologia 
CMOS da 0,35 micron) permette di notare che la 
giunzione base - collettore del transistore, essendo 
ottenuta fra il bulk p e il pozzo n, e polarizzata 
in senso inverso . 

Di conseguenza la diffusione del pozzo n, larga 
a sufficienza, e l'area attiva del sensore dove, la 
luce incidente pud generare le coppie 
elettrone/lacuna che stanno 1 alia base della 
conduzione inversa della giunzione. Lo switch 12 
consente di controllare il f lusso di corrente a 
partire dalla giunzione emettitore base verso il 
condensatore 11. Fissando il tempo di conduzione 
(on-time) dello switch 12, la tensione raccolta sul 
condensatore 11 e p^oporziqnale alia quantita di 
luce incidente sulla superficie del sensore. 

II valqre della capacita 11 e legato in via 
principale alle correnti di perdita ^ed al tempo 
necessario per 1 ' accjuisizione dell ' immagine . ^In 
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effetti, il condensatore 11 viene caricato durante 
1 ' acquisizione dell ' immagine e scaricato durante 
l'operazione di lettura, per cui il tempo di 
f unzionamento immagazzinamerito/ lettura e 

proporzionale al valore della capacita. 

Dall'altra parte, piccoli valori di capacita 
significano piccoli valori di corrente, che sono piu 
influenzati dalle correnti di perdita. 

La figura 4 fa vedere con maggior chiarezza che 
l'isola di pozzo n destinata ad implementare 1 ' area 
attiva del sensore ottico (con riferimento al pixel 
di immagine genericamente identificato con Qij 
ragionando secondo un tipico ordinamento matriciale 
per righe e colonne) pud essere realizzata del tutto 
separata dall'altra isola (indicata genericamente 
con Cij, proprio per mettere in luce la diretta 
corrispondenza con il rispettivo pixel) che contiene 
gli altri dispositivi ossia lo switch 12 ed i 
circuiti logici presenti a livello locale. 

Per immediato riferimento quantitativo, nella 
forma di attuazione dell ' invenzione al momento 
preferita, la capacita 11 ha un valore di 0,36 pF 
con base di pozzo n allargata ed area attiva p+ di 5 
x 5 micron. Con riferimento ai suddetti valori, 
assumendo correnti di perdita di valore corrente, e 
possibile conservare valori di tensione per tempi 
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suf f icientemente lunghi, garantendo la carica con 
ridotti tempi di esposizione e caricando il 
condensatore 11 in tutto il suo ranges dinamico 
(tipicamente compreso fra 0 volt e circa 3,3 volt) 
in appena 1, 2 microsecondi. 

Ricorrendo al circuito sopra indicato e 
possibile realizzare la rilevazione dell ' immagine 
direttamente sul chip con un funzionamento attuato 
in parallelo per tutti i pixel. 

In particolare, ricorrendo - secondo le 

modalita meglio descritte nel seguito - ad 
un' architettura basata su reti neurali cellulari 
(CNN) , e possibile ottenere velocita di acquisizione 
ed elaborazione on-chip estremamente elevate: fino a 
10.000 ~ 50.000 frame /secondo con una capacita 
computazionale equivalente dell'ordine di 1, 2 Tera- 
operazioni/secondo, di gran lunga superiori alle 
normali frequenze di elaborazione delle immagini, 
dell'ordine di 3 0 frame per secondo. 

Al fine di conseguire una capacita di 
elaborazione in tempo reale sul' chip, ciascun pixel 
e collegato localmente ad un'unita o cella 
elaborativa che e in grado di implement are il 
seguente insieme di equazioni 

xdxij/dt= -g(Xij) + 2 A(l # m).x lm + 2 B(l,m).u lm + 

Ibias/ 
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dove le sommatorie si estendono a tutti i 
valori (1,111) appartenenti all'intorno N(Cij) e 

xi ow se Xij < xi ow 

g(Xij) = X high Se Xij > x high 

0 altrimenti 

e xij ed Uij sono rispettivamente. la tensione di 
ingresso e le tensioni di stato della cella Cij 
(vedere la figura 4) , 

N(Cij) e l'intorno di raggio 1 della cella Cij, 

e 

A, B e Ibias sono parametri di controllo i cui 
valori influenzano il comportamento del sistema 
nell ' elaborazione dell ' immagine acquisita . 

In maggior dettaglio, A e B sono matrici 3x3, 
mentre Ibias e un singolo valore di tensione di 
offset. 

La formula sopra richiamata pud essere 
ricondotta al paradigma generale delle reti neurali 
cellulari (CNN) descritto in US-A-5 140 670, a cui 
si pud far utilmente riferimento per la descrizione 
di ulteriori dettagli relativi all ' elaborazione 
dell ' immagine . 

La figura 5 illustra, sotto forma di uno schema 
a blocchi, la possibile implementazione di un 
dispositivo di controllo suscettibile di essere 
associato e di fatto integrate con il complesso di 
sensori ottici descritto in precedenza cosi da dare 
origine un unico dispositivo rappresentato appunto 
dal dispositivo 1 della figura 1. 

In particolare, nello schema di architettura 
della figura 5, il riferimento' 21 indica la schiera 
(tipicamente matricial£) di celle analogiche 
comprendenti i sensdri ottici Qij interconnesse 
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localmente alle celle adiacenti attraverso una serie 
di parametri di peso e di bias programmabili ossia i 
fattori A, B e Ibias visti in precedenza, costituenti 
i parametri di conf igurazione della rete neurale. 

II riferimento 22 indica invece una memoria 
analogica interna per immagazzinare temporaneamente 
i valori intermedi delle celle, durante 
l'elaborazione, owero una o piu immagini acquisite 
dal sensore ottico. 

II riferimento 23 indica un complesso di 
registri digitali per immagazzinare i parametri di 
programmazione e di conf igurazione destinati ad 
essere trasmessi verso la schiera 21 previa 
conversione in * f ormato analogico attuata attraverso 
un convertitore digitale/analogico 24. 

II riferimento 2 5 indica invece una memoria 
digitale di programma (configurata ad esempio come 
memoria flash, EPROM o SRAM con interfaccia di 
memoria esterna) mentre il riferimento 2 6 indica 
invece una logica di controllo che pilota tutti gli 
element! dell ' architettura, con 1'ulteriore 

possibility di agire da decodif icatore durante 
l'operazione di lettura dei risultati di 
elaborazione generati nella schiera 21 di celle 
analogiche . 

Infine il riferimento 27 indica il complesso 
dei circuit! di ingresso/uscita (tanto di tipo 
analogico quanto digitale) destinati a realizzare 
1' interf acciamento verso l'esterno e la 
programmazione del chip. 

Le modalita di interazione fra i blocchi 21 a 
27 (peraltro evidenti per la persona esperta del 
settore) sono indicate' dalle frecce - unidirezionali 
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o bidirezionali - rappresentate riella stessa figura 
5. 

In sostanza, ogni passo di elaborazione viene 
realizzato fissando valori noti dei parametri sopra 
richiamati e lasciando evolvere il sistema in modo 
dinamico da uno stato iniziale alia condizione 
finale stabile immagazzinando quindi nella memoria 
locale 1 ' immagine risultante. 

Come noto (si veda ad esempio la CNN Software 
Library - Templates and Algorithms - version 7.3, 
ANL - Budapest, Agosto 1999) sono attuabili, in 
relazione alle cosiddette macchine universali CNN, 
modal ita di f unzionamento tanto su singole immagini 
quanto su doppie immagini . 

^ Una volta che 1' immagine e stata completamente 
acquisita (con un tempo di acquisizione che dipende 
dalla risoluzione del chip e dalla relativa 
tecnologia) , essa viene immagazzinata internamente 
come insieme di valori analogici di tensione (pixel 
per pixel) , destinati ad essere poi elaborati 
direttamente sul chip con 1 ' architettura proposta. 

Tutti i passi di elaborazione richiesti possono 
essere implementati con questa architettura, cosi da 
dare origine ad una soluzione su singolo chip in 
vista dell'impiego come microsensore visivo. 

Per quanto riguarda, ad esempio, i passi di 
elaborazione dell ' immagine di tipo dinamico, lo 
schema della figura 7 fa vedere uno schema di 
filtraggio di tipo ADI (Accumulative Difference 
Images) realizzato combinando . singoli passi di 
elaborazione dell ' immagine e calcoli di differenze 
pixel per pixel. 




In particolare, lo schema della figura 6 fa 
vedere come, partendo dai dati relativi a singoli 
frame (frame 1, frame 2, ...), rappresentati 
complessivamente come' 30, si pud passare tramite^ 
un'operazione di pre- f iltraggio a rispettivi insiemi 
di dati filtrati (indicati complessivamente come 31) 
che continuano a riferirsi ai singoli frame. 

Tutto questo per poi passare, tramite 
un'operazione di differenza attuata fra frame 
successivi, a dati di differenza "(rappresentati in 
32) . A partire da questi ultimi, tramite un 
meccanismo di accumulazione su insiemi che, 
nell'esempio qui illustrato, comprendono tre gruppi 
di dati di differenza consecutivi, e possibile 
pervenire ai risultati dell'azione di f iltraggio 
,ADI . 

Naturalmente il - filtraggio di tipo ADI 
costituisce solo un esempio delle varie possibili 
f unzioni i di elaborazione suscettibili di essere 
attuate in un sensore secondo 1' inverizione in base 
alle modalita descritte in precedenza. 

Ad esempio, facendo riferimento al complesso di 
equazioni citate in precedenza come esplicative del 
possibile funzionamento di una rete neurale 
cellulare, vengono nel seguito riportate alcune 
diverse modalita di scelta dei parametri A, B e I b ias 
relative a diverse f unzioni di elaborazione. 

a) Calcolo ADI 

Con questa operazione vengono trattate, ad 
esempio, due immagini (frame) successive per 
eliminare tramit,e filtraggio la parte statica 
dell ' immagine . In base a questo schema, le immagini 
%x dif f erenza" vengono accumulate due o piu volte al 



fine di ottenere un' immagine in grigio che 
rappresenta le parti in movimento nei frame piu 
recent i della sequenza originaria. 

Differenza logics, (matrice di ingresso = frame 
t-1, stato iniziale = frame t) . 



A = 



B = 



to 

0 
0 
[0 
0 
0 



0 
2 
0 
0 

-1 
0 



0 
0 

0] 

0 

0 

0] 



Ibias = - 1 



Differenza j + filtraggio rumor e (matrice di 
ingresso = frame t-1, stato iniziale - frame t) . 
A = 



B = 



[0 


0 


0 


0 


1 


0 


0 ^ 


0 


0] 


[0.25 


0 Vr 2 5 


0 .25 


0.25 


2 


0.25 


0 . 25 


0.25 


0.25] 



Ibias = -4.75 



b) Sogliatura 



Viene utilizzata per ottenere immagini binarie 
a partire da una scala dei grigi . II valore di 
soglia viene fissato tramite il valore di corrente 
di Ibias/ in funzione dei valori di luminanza da 
trattare, consentendo cosi la possibility di 
realizzare un' operazione di sogliatura variabile in 
funzione della luminosita media della scena, owero 
di sogliatura adattativa. 

A = [0 0 0 

0 2.5 0 . 

0 0 0] - 

B = [0 0 y' 0 

0 0 ''' 0 
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& • 



MO 

e5| 



-21- 



0 0 0] -1 < I bias < 1 

c) Riduzione del rumore 1 (Smoothing) 

Viene utilizzata alio scopo di filtrare alcuni 
effetti di rumore durante 1 ' acquisizione 
dell ' immagine . L' immagine di uscita e binaria (pixel 
neri o bianchi) . 

Va notato che nel funzionamento in condizioni 
di luce normale, la funzione di smoothing e in grado 
di operare direttamente su immagini di scala dei 
grigi senza richiedere prevent ivamente una 
sogliatura. 

A = [0 1 0 

12 1 
0 1 .0] 

B = [0 0 0 cS*i 

0 0 0 go 

oo o] i bias = o 

d) Rilevazione dei contorni Z ^=? * 
Questa operazione identifica il contorno di una sip 

singola immagine cosi da consentire la rilevazione cQ < 
di diversi oggetti nella scena osservata (ad 
esempio, nel caso di specifico interesse, 
l'occupante dell ' abitacolo del veicolo, la cintura 
di sicurezza, ecc.) . 

A = [0 0 0 

0 10 
0 0 0] 

B = [0 -0.5 0 

-0.5 2 -0.5 

0 -0.5 0] I bias = -0.8 

Questo tipo di segmentazlone e attuabile anche 
tramite altri operatori., ad esempio tramite calcolo 
del gradiente e filtraggio spaziale. 
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e) Riduzione del rumore 2 2 (rimozione di 
piccoli oggetti) 

Come risultato di imprecisioni nelle operazioni 
di acquisizione dell ' immagine , dopo il calcolo ADI , 
possono rimanere pixel isolati e piccoli oggetti. Lo 
scopo di questa operazione e quello di eliminare 
tramite filtraggio questO tipo di rumore, che pud 
essere riconosciuto come pixel isolati o piccoli 
gruppi di pixel . 

A = [i 1 1 

12 1 
111] 
B = [0 0 0 

0 0 ^ 0 

0 0 0] I bias = 0 c3>S 

Le varie funzioni di elaborazione descritte in 
precedenza possono essere fra loro integrate cosi da O^" 
dare origine ad algoritmi suscettibili di essere 
svolti sotto il controllo della memoria di programma 
25 (si osservi lo schema della f igura 5) , ^< 
trasferendo verso la schiera 21 i corrispondenti 
insiemi di parametri A, B e I b ias prelevati dai 
registri 23 e convertiti in forma analogica 
attraverso il convertitore 24. 

Lo schema della figura 7 illustra, sotto forma 
di un diagramma di flusso, un possibile algoritmo 
suscettibile di essere implementato dal circuito 
della figura 5. 

Al riguardo si apprezzera ancora una volta che 
la soluzione secondo I'invenzione consente di 
integrare in un singolo comporiente tanto la funzione 
di acquisizione dell ' immagine , quanto la funzione di 
elaborazione della stessa, quest 'ultima funzione 
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essendo attuata secondo modal ita (ricorso ad una 
rete neurale cellulare^o CNN) tali da dare origine a 
tempi di elaborazione che - a parita di altri 
parametri - risultano marcatamente inferiori 
rispetto a quelli conseguibili in quelle soluzioni 
in cui i segnali corrispondenti alle immagini 
acquisite in forma di segnali analogici devono 
essere convertiti in forma digitale per procedere ad 
una elaborazione (realizzata oltretutto 

essenzialmente secondo criteri seriali) . 

Tutto questo con la possibility, per quanto 
riguarda la soluzione secondo l'invenzione, di 
sfruttare a pieno le potenzialita dd implementazione 
a livello CMOS delle jreti neurali cellulari . 

Al riguardo si pud utilmente consultare il 
lavoro di T. Roska e A. Rodriguez-Vazquez, "Review 
of CMOS Implementations of the CNN Universal 
Machine-Type Visual Microprocessors'' in Proc . of 
Iscas 2000 - Ginevra, 2000. 

In particolare, nello schema della figura 7 che 
prende spunto da un passo di partenza 100, il 
riferimento 102 indica il passo in cui si realizza 
(secondo criteri noti) 1 ' acquisizione dell'i-esimo 
frame che viene memorizzato nella memoria analogica 
interna 22 nel passo indicato con 104. 

In un successivo passo o complesso di passi 
indicato collettivamente con 106, 1 ' immagine appena 
acquisita e/o l'insieme di immagini precedentemente 
acquisite vengono sottoposte ad un' operazione di 
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pre-f iltraggio ad' esempio in base agli algoritmi di 
sogliatura e di riduzione del rumore (smoothing) 
descritti in precedenza . 

In" funzione delle specif iche esigenze 
applicative, a partire dal passo 106, e possibile 
evolvere verso un passo 108 in cui si realizza 
(secondo le modalita descritte in precedenza) il 
calcolo ADI. II passo 108 viene svolto normalmente 
in modo interattivo con 1 ' aggi ornament o dei valori 
di ADI memorizzati nelle memorie 22 (passo 110) . 

Successivamente, il sistema evolve verso il 
passo 112 (che, almeno in alcune applicazioni pud 
aeguire direttamente il passo di partenza 100) per 
poi convergere verso un insieme di funzioni di 
decisione collettivamente indicato con 114 e 
destinato ad essere illustrato in maggior dettaglio 
nel seguito . 

Il passo 112 prevede di solito lo svolgimento di 
un' operazione di estrazione" dei contorni ed 
un' operazione di riduzione del rumore destinata alia 
rimozione dei piccoli oggetti secondo le modalita 
descritte in precedenza. 

Il riferimento 116 illustra un complesso di 
altre operazioni suscettibili di essere svolte, in 
modo di per se noto, . al fine di attuare una funzione 
di estrazione delle caratterist iche sull ' immagine 



statica (estrazione dei contorni, rilevazione delle 
linee diagonal i, riempimento dei contorni , 
applicazione di operatori logici vairi , etc.). II 
tutto procedendo a partire dall ' immagine pre- 
filtrata ottenuta dal passo 106 in vista 
dell ' utilizzazione dei relativi risultati 

nell'ambito della funzione di decisione indicata con 
114 . 

Questo fatto e meglio evidenziato nello schema 
della figura 8 che illustra - a puro titolo di 
esempio non limitativo - la possibile modalita di 
elaborazione dei dati risultanti dallo svolgimento 
delle sequenze elaborative che si completano con i 
passi indicati con 112 e 116 nello schema della 
figura 7 . 

In sostanza, la funzione di decisione 
rappresentata nello schema 8 consente, in funzione 
del risultato finale inviato verso il blocco 2 della 
figura 1 di determinare le modalita di attivazione 
dell 'air-bag 3, in particolare per decidere se, 
quando e con quali modalita 1' air-bag 3 stesso debba 
essere attivato. 

Dovendo svolgere essenzialmente una funzione di 
"triggering" , ossia di attivazione controllata, il 
modo piu semplice di operate consiste nel valutare 
il valore di intensita media di tutti i pixel 




dell ' immagine ottenuta al termine della 
segmentazione dinamica, dopo aver verificato le 
condizioni di abilitazione previste attraverso i 
processi di elaboraziorie su immagini statiche. A tal 
fine conviene tener presente la possibility, ammessa 
dalle reti neurali cellulari, di effettuare anche 
operazioni logiche (attraverso opportuni insiemi di 
parametri) fra due immagini owero due passi 
intermedi nell ' elaborazione di un' immagine/ Cio si 
ottiene imponendo una delle due immagini come mappa 
di ingresso (u) e l'altra come mappa dello stato 
iniziale (xO) della rete. 

In particolare lo schema della figura 8 fa 
riferimento - si ripete, a puro titolo di esempio 
non limitativo - a una sequenza decisionale 
articplata in tre sezioni destinate ad essere 
attuate di preferenza in modo concorrente. 

- La prima sezione, comprendente i passi indicati 
in sequenza con i riferimenti 118a' e 118e, 
corrisponde essenzialmente ad una decisione sulla 
presenza o meno di una persona sul sedile a cui e 
associato 1' air-bag 3 controllato. 

La prima operazione corrisponde ad una funzione 
di mascheramento al fine di isolare la zona in 
prossimita del poggiatesta . (jpasso 118a). 



Si procede quindi attraverso l'elaborazione 
dif f erenziale delle sequenze video con o senza 
persona presente (o con passeggero di altezza 
opportuna) . Tale elaborazione e rappresentato dai 
passi 118b (sogliatura e mascheratura) , 118c 
(estrazione e chiusura dei contorni) , 118d 
(riempimento dei contorni) e 118e (somma dei valor i 
del pixel e sogliatura) . 

II risultato finale e disponibile un segnale 
che, tramite ponderazione attuata con i risultati 
delle sequenze concorrenti descritte nel seguito (ad 
esempio tramite un operatore logico AND, 
rappresentato dal blocco 124) consente di inviare 
verso l'unita di controllo 2 un segnale indicativo 
del fatto se 1' air-bag debba essere attivato oppure 
no . 

La sequenza operativa rappresentata dai blocchi 
120a a 120e comprende sostanzialmente operazioni 
analoghe a quelle descritte in precedenza con 
rif erimento alia sequenza rappresentata dai blocchi 
118a a 118e e mira a valutare l'utilizzo delle 
cinture di sicurezza. Una possibile differenza e 
data dal fatto che mentre il passo 118c prevede 
essenzialmente il riconoscimento e la chiusura dei 
contorni in vista del successivo riempimento di tali 
contorni nel passo llffd, il passo 120c prevede il 
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riconoscimento dei contorni connessi diagonalmente 
in vista della successiva chiusura e riempimento di 
tali contorni nel passo 120d. Tutto questo al fine 
di classificare meglio l'oggetto cintura di 
sicurezza . 

La sequenza operativa rappresentata dai blocchi 
122a a 122e risulta diversa da quelle descritta in 
precedenza proprio per il suo contenuto 
essenzialmente dinamico. Lo scopo della v sequenza 
122a-122e e infatti proprio quello di fornire un 
dato di decisione basato sulla velocita con cui, ad 
esempio, il ^uidatore tende ad urtare contro il 
blocco volante a seguito di un. eventuale urto 
frontale, owero - in generale - sulla velocita di 
spostamento di un qualsivoglia oggetto 

nell ' abitacolo per effetto di urti frontali, 
laterali o compositi. 

Come gia si e detto, il passo 124 rappresenta in 
generale una funzione di ponderazione (qui 
rappresentata sot to forma di un semplice operatore 
AND, ma in realta suscettibile di corrispondere a 
criteri logici piu sofisticati, anche di natura 
fuzzy) diretta a produrre il segnale di - possibile 
selettiva attivazione verso il modulo 2 della 
figura 1 in funzione dei risultati ottenuti dalle 
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varie sequenze di elaborazione 118a-118e; 120a-120e 
e 122a-122e. 

II livello di soglia fissato per il valore di 
intensita media dei pixel pud essere variato in 
funzione della sensibilita e velocita di risposta 
desiderata dal sistema air-bag, oltre che 
all' accelerazione (negativa) dell ' automobile in caso 
di urto. II valore di intensita media dei pixel che 
supera tale livello di soglia, indicativo della 
velocita di impatto stimata, pud essere utilizzato 
per controllare 1 ' attivazione del sistema di 
esplosione dell'airbag. 

Anche il livello di soglia utilizzato per 
convertire 1 ' immagine a colori in un' immagine 0^"3 
bianco/nero pud essere ottimizzatd dinamicamente in Fin 
funzione della luminosita media dei pixel ^ ca^ 
dell ' immagine originale, realizzando quindi 

un'azione di sogliatura di tipo adattativo. 

Naturalmente, fermo restando il principio 
dell ' invenzione, i particolari di realizzazione e le 
forme di attuazione potranno essere ampiamente 
variati rispetto a quanto descritto ed illustrato, 
senza per questo uscire dall'ambito della presente 
invenzione. 
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RIVENDICAZIONI 

1. Sensore ottico intelligente per 1'impiego in 
sistemi di air-bag associati ad abitacoli di 
veicoli, detto sensore comprendendo una schiera di 
elementi f otosensibili (Qi j ) per 1 ' acquisizione di 
immagini dell ' abitacolo ed un circuito (20) per 
l'elaborazione dei segnali corrispondenti a dette 
immagini generati da detti elementi f otosensibili 
(Qij)/ caratterizzato dal fatto che detto circuito 
di elaborazione (20) e configurato secondo 
un' architettura di trattamento di detti segnali di 
immagine a rete neurale cellulare (CNN) , detto 



cui il sensore e associato. 

2. Sensore secondo la rivendicazione 1, 
caratterizzato dal fatto che detta schiera di 
elementi f otosensibili (Qij) e detto circuito di 
elaborazione (2 0) sono compresi in un unico 
componente integrato . 

3, Sensore secondo la rivendicazione 1 o la 
rivendicazione 2, caratterizzato dal fatto che detta 
rete neurale cellulare comprende una pluralita di 



circuito di elaborazione (20) essendo suscettibile Qo 

di generare, in funzione di detti segnali di Q3i 

immagine, un segnale di uscita (124) indicativo jq2 
delle modalita di attivazione di un air-bag (3) a 
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celle (Cij) ciascuna associata ad un rispettivo 
elemento f otosensibile (Qij) di detta schiera. 

4. Sensore secondo la rivendicazione 3, 
caratterizzato dal fatto che dette celle (Cij) ed il 
rispettivo elemento f otosensibile (Qij) sono 
implementati in isole separate di un pozzo di un 
circuito in tecnologia CMOS. 

5. Sensore secondo una qualsiasi delle 
precedent i rivendicazioni , caratterizzato dal fatto 
che detti elementi f otosensibili comprendono, come 
area f otosensibile , un'area di giunzione fra un bulk 
ed un pozzo di tecnologia CMOS. 

6. Sensore secondo una qualsiasi delle qD 

precedenti rivendicazioni, caratterizzato dal fatto 

: 03z 

che detto circuito di elaborazione (20) comprende : 



almeno una memoria analogica (22) per la 
memorizzazione dei segnali di immagine generati da 
detti eilementi f otosensibili (Qij) di detta schiera 
(21), e 

- una logica di controllo (26) per l'esecuzione 
di sequenze di elaborazione di immagine in tempo 
reale da parte di detta rete neurale cellulare. 

7. Sensore secondo la rivendicazione 6, 
caratterizzato dal fatto che detto circuito di 
elaborazione (20) comprende mezzi (23) per la 



CO 



z 
< 



-32- 



memorizzazione dei parametri di conf igurazione (A, 
B, Ibias) di detta rete neurale cellulare. 

8. Sensore secondo la rivendicazione 7, 
caratterizzato dal fatto che detti parametri di 
conf igurazione (A, B, Ibias) sono memorizzati in 
forma digitale (23) e detto circuito di elaborazione 
(20) comprende un convertitore digitale/analogico 
(24) per convertire detti parametri (A, B, I b i as ) in 
forma analogica in vista dell ' alimentazione a detta 
rete neurale cellulare. 

9. Sensore secondo una qualsiasi delle 
precedenti rivendicazioni, caratterizzato dal fatto 
che detto circuito di elaborazione (20) e 
configurato per realizzare su detti segnali di 
immagine almeno una delle operazioni scelte nel 
gruppo costituito da: 

- sogliatura (118b, 120b, 122b) , 

- riduzione del rumore tramite smoothing, 

calcolo della differenza cumulativa fra 
immagini o ADI (122c) , 

- riconoscimento dei contorni (118c, 120c) , 

riduzione del rumore tramite rimozione di 
piccoli oggetti (122d) , 

- chiusura dei contorni (118c, 12 Od) , 

- riempimento dei contorni chiusi (118d, 120d) , 
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riconoscimento dei contorni connessi 
diagonalmente (12 0c) , 

- rilevamento della velocita di spostamento di 
un oggetto in dette immagini (112a) . 

10. Sensore secondo una qualsiasi delle 
precedenti rivendicazioni , caratterizzato dal fatto 
che detto circuito di elaborazione (20) e 
configurato per realizzare un'operazione di 
combinazione (124) di risultati di elaborazione 
(118e, 12 Oe, 122e) ottenuti in relazione "ad almeno 
due immagini distinte dell ' abitacolo. 

11. Sensore secondo la rivendicazione 10, 

x On 
caratterizzato dal fatto che detta operazione di <^ 

combinazione e un prodotto logico (AND - 124) . Q^j~^ 

12. Sensore secondo la rivendicazione 10 o la ^<5 
rivendicazione 11, caratterizzato dal fatto che il 00 < 
risultato di detta operazione di combinazione 
identifica detto segnale di uscita come indicativo 

della decisione di attivare un air-bag associato 

13. Sensore secondo la rivendicazione 10 o la 
rivendicazione 11, caratterizzato dal fatto che il 
risultato di detta operazione di combinazione 
identifica detto segnale di uscita come indicativo 
dell'azione di controllo del meccanismo di 
attivazione dell'airbag associato. 
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14, Sensore secondo una qualsiasi delle 
rivendicazione 10 a 13, caratterizzato dal fatto che 
dette almeno due immagini distinte comprendono 
un' immagine sostanzialmente statica (116) ed una 
pluralita di immagini dinamiche . (112) 
dell ' abitacolo . 

15. Sensore secondo una qualsiasi delle 
precedenti rivendicazioni , caratterizzato dal fatto 
che comprende mezzi di memoria (22) per la 
memorizzazione di detti immagini di abitacolo in 
funzione di scatola nera. 
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